场景理解

山海大模型

山海大模型是一款由云知声推出的多模态人工智能模型,具备强大的知识储备和多模态交互能力。它能够通过文本、音频和图像等形式与用户进行实时互动,提供信息查询、知识学习和灵感激发等服务。主要功能包括内容生成与理解、知识问答、逻辑推理、代码能力以及多模态交互特色,如实时响应、情绪感知、音色切换和视觉场景理解。该模型可应用于智能客服、教育辅助、医疗咨询、个人助理和内容创作等多个领域。

EMMA

EMMA是一款基于Gemini模型的端到端自动驾驶多模态模型,可直接从原始相机传感器数据生成驾驶轨迹并执行多种任务,如3D对象检测、道路图元素识别及场景理解。该模型利用自然语言处理技术实现跨任务协作,并展现出强大的泛化能力,但在某些方面仍需改进。

MSQA

MSQA是一个包含251,000个问答对的大规模多模态情境推理数据集,支持文本、图像和点云等多种数据形式,旨在提升具身AI在三维场景中的理解与推理能力。通过设计MSQA和MSNN两个基准测试任务,该工具不仅能够评估模型性能,还能促进具身AI和3D场景理解领域的研究进展。同时,它为开发更强大的情境推理模型提供了丰富的预训练资源。

HumanOmni

HumanOmni 是一款面向人类中心场景的多模态大模型,融合视觉与听觉信息,具备情感识别、面部描述、语音理解等功能。基于大量视频与指令数据训练,采用动态权重调整机制,支持多模态交互与场景理解。适用于影视分析、教育、广告及内容创作等领域,具备良好的可扩展性和灵活性。

T2I

T2I-R1是由香港中文大学与上海AI Lab联合开发的文本到图像生成模型,采用双层推理机制(语义级和 Token 级 CoT),实现高质量图像生成与复杂场景理解。其基于 BiCoT-GRPO 强化学习框架,结合多专家奖励模型,提升生成图像的多样性和稳定性。适用于创意设计、内容制作、教育辅助等多个领域,具有广泛的应用潜力。

Depth Anything

强大的单目深度估计工具,它通过利用大规模未标注数据和先进的数据增强技术,实现了在多种复杂环境下的准确深度预测。其多任务学习和语义辅助功能使其在多个领域都有广泛的应用潜力。